iT邦幫忙

2023 iThome 鐵人賽

DAY 30
2
AI & Data

LLM 學習筆記系列 第 30

LLM Note Day 30 - 學海無涯,學無止境

  • 分享至 

  • xImage
  •  

簡介

AI 領域的變化相當快速,很有可能筆者今天寫的介紹,明天框架一個大改就不能用了。或者突然出現一個驚人的模型,取代了所有 Transformer Decoder LM 架構,那筆者寫的這個系列文九成都沒用了,這也是不無可能的。

因此我們需要不斷的學習,去接觸、去瞭解、去咀嚼新的知識。但人的時間是有限的,沒有人可以全知全能,要很有效率且方向正確的吸收知識,其實是相當困難的課題。筆者也還處於摸索的階段,與大家分享一下個人接觸新知的管道。

可愛貓貓 Day 30

Paper

看論文是個非常好的管道,可以到各大 AI 龍頭的 Publication 頁面尋找他們發表的論文,也可以用 Google Scholar 尋找相關論文,而筆者自己比較常關注 arXiv 上 cs.CL 領域的最新論文。

arXiv 上的論文有個好處,很多論文都會附上論文原始碼,通常是 Latex 格式。除了純文字格式以外,往往也能看到一些作者的註解,這是從 PDF 上看不到的部份。有時候這些註解反而能讓人豁然開朗,原來實驗數據這樣呈現是為了隱藏系統的缺陷啊

雖然「論文」一詞給人很學術的感覺,但是在資訊領域,其實就很像我們在鐵人賽裡面看到的技術文章,只是他是用英文寫的而已。推薦可以看看那些有公開原始碼專案的論文,將程式碼與論文搭配著看,可以更容易吸收裡面的內容。

GitHub Trending

GitHub Trending 上可以看到最近的熱門專案,雖然不是每個都跟 LLM 有關,但 LLM 的熱潮應該還會再燒一陣子,所以能經常看到與 LLM 相關的專案。也可以下載手機版的 GitHub,有事沒事就打開來看看有什麼有趣的專案,喜歡的話就幫他點顆星,這樣 GitHub 就會推薦一些相關的專案給你參考。

Hugging Face

Blog

HF Blog 經常會分享一些技術觀念文章,因為 HuggingFace 的開發團隊經常在整合最新潮的技術,完成整合後也會在第一時間發表到部落格上,套件本身甚至都還沒進版。因此追隨 HF Blog 也能觀察到現在在流行什麼技術,而這個社群又在意哪些技術。

Trending

HF Hub 首頁可以看到最近的趨勢,大家都在下載哪些模型、資料集,或者在玩哪些 Space 的 Demo 系統。點進這些熱門的模型看看,他們又改進了哪些訓練方法,在留言區也能看到大家為什麼喜歡這個模型,或者這個模型還有哪些缺陷需要改進。

Daily Paper

假設你不像筆者每天都在當薪水小偷,有很多時間可以隨意閱覽論文,那可以考慮看看 HF Daily Paper 每天推薦的論文。

iThome

iThome 的分享的技術新聞也是相當優質!但是偶爾,真的很偶爾,文章的內容會有一絲絲的不大正確。但是沒關係,記者通常都會附上來源,對於有疑惑的部份,可以點進資料來源研究原文,現在也能借助 ChatGPT 的力量來閱讀與核實這些新聞。

與人互動

最後別忘了,與人互動也是個很好的學習方法。如果在讀論文時遇到問題,不妨試試看寄 Email 詢問原作者,筆者就曾經這樣做並且得到了良好的回應,解決了當下的煩惱,令人相當感激。如果是在 GitHub 上遇到問題,可以發 Issue 尋求協助,但請記得遵循該專案的相關規範。保持謙虛有禮的態度,也更容易讓大家願意協助你解決問題。

未來發展

在筆者打鐵人賽的期間,ChatGPT 也正式推出讓模型理解圖片的功能了,使用起來的效果相當驚人,雖然不是每次都能理解的相當準確,但已經是個非常厲害的成果了。筆者相信未來趨勢會是多模態 (Multimodality),不僅讓文字結合圖片,甚至是聲音(非人聲)、影片或視訊等等,都是相當有潛力的。

另外 RustMojo 也是是值得關注的程式語言,像是 HF Tokenizer 就是以 Rust 實做的。Mojo 一直到最近才開放給大眾使用,但已經出現 llama2.mojo 這種專案,其成果也是相當驚人。

有人在優化底層實做,也有人在強化上層框架。從 vLLM 這種優化推論的框架,到 LangChain 這種應用開發的框架,都在不斷改進我們使用 LLM 的體驗。

除了文字模型以外,還有許多其他的 AI 模型,例如 Whisper ASR 語音辨識模型,Stable Diffusion 圖像生成模型,甚至還有 Kosmos-2.5 這種排版文件生成的模型。

結論

終於到了最後一天!真的很高興能夠完成這次的鐵人賽,與大家分享我的 LLM 學習歷程。感謝 jtlin1206, ydggg6, sharonliuBonnie1226 被我拉進鐵人賽感受痛苦的隊友們,他們寫的文章也非常優質,大家一定要去看。感謝我的朋友們,每天都在我寫文章的無聊實況上監督我。最後感謝我的家人,中秋與國慶連假每天窩在家裡也不罵我,還給我支持與鼓勵 🙏

下台一鞠躬 🎉


上一篇
LLM Note Day 29 - 授權條款 License
下一篇
LLM Note Day 31 - Flash Attention
系列文
LLM 學習筆記33
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

2 則留言

0
Bonnie1226
iT邦新手 5 級 ‧ 2023-10-15 13:25:32

恭喜完賽~~你分享的內容都很豐富扎實/images/emoticon/emoticon37.gif

Penut Chen iT邦研究生 5 級 ‧ 2023-10-15 16:16:04 檢舉

感謝~你們分享的內容也都很棒 /images/emoticon/emoticon12.gif

0
jtlin1206
iT邦新手 5 級 ‧ 2023-10-15 15:06:47

恭喜完賽~~
有機會和你學習 LLM 相關的知識真是太棒了,這也是這次想和你一起參加鐵人賽的原因之一
為了留言我還要先去解新手任務,看來我真的還是新手 /images/emoticon/emoticon01.gif

Penut Chen iT邦研究生 5 級 ‧ 2023-10-15 16:17:14 檢舉

感謝~能觀摩 JT 大神的介紹風格也讓我相當受用 /images/emoticon/emoticon08.gif

我要留言

立即登入留言